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摘 要 : 幸运 成 像 技 术 是 一 种 基于 大 量 短 上 曝光 图 像 中 选取 少量 幸运 好 图 进行 配 准 、 丢 加 
的 高 分 辨 率 图 像 恢复 技术 , 能 够 有 效 减 小 大 气 油 流 对 图 像 质 量 的 影响 , 但 传统 的 基于 中 央 处 
Bas (CPU) 的 幸运 成 像 算法 难以 实现 实时 化 。 本 文 利用 现场 可 编程 逻辑 阵列 FPGA) 的 
并 行 性 和 灵活 性 优势 ， 提 出 了 一 种 新 的 基于 FPGA 的 幸运 成 像 算 法 并 构建 了 一 个 FPGA 实 
验 系统 。 该 算法 采用 一 种 固定 选 图 数 且 无 需 排序 的 图 像 选择 策略 和 一 种 以 行列 坐标 为 基准 的 
图 像 配 准 策 略 ， 能 够 有 效 地 节省 算法 处 理 时 间 和 硬件 资源 ， 达 到 实时 幸运 成 像 的 目的 。 这 个 
新 的 实时 幸运 成 像 算法 能 够 以 简洁 的 方式 在 中 小 规模 的 FFGA 上 实现 ， 所 得 高 分 辨 率 图 像 

与 基于 传统 CPU 算法 处 理 的 结果 完全 相同 。 实 验 表明 , 对 于 2000 tl 128x128 像素 的 输入 图 

一 像 进行 幸运 成 像 处 理 ， 本 算法 的 运行 速度 比 本 实验 室 之 前 提出 的 算法 快 27 倍 ， 比 传统 的 基 
> F CPU+MATLAB 幸运 成 像 算法 速度 快 150 多 倍 , 处 理 帧 率 可 达 197 帧 / 秒 。 该 算法 及 其 FPGA 
实现 技术 可 以 用 于 构建 真正 实时 的 幸运 成 像 系 统 。 
=) 关键 词 ， 图 像 处 理 ， 大 气 清流 ， 实 时 性 ， 幸 运 成 像 ，FPGA 
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S 幸运 成 像 技 术 是 一 种 用 于 去 除 大 气 灌流 效应 的 简单 有 效 的 图 像 恢 复 技术 中 。 由 于 该 方法 
需要 从 大 量 的 短 曝光 图 像 中 选取 少量 季 运 图 像 进行 配 准 和 县 加 ， 计算 量 大 , 通常 是 在 天 文 观 
测 完成 之 后 的 一 段 时 间 内 用 专门 的 计算 机 进行 图 像 恢复 或 重建 , 难以 实时 处 理 。 不 过 实时 化 
仍 是 其 发 展 方向 之 一 外。 对 于 大 量 图 像 的 幸运 重建 来 说 ， 传 统 的 中 央 处 理 器 (Central 
N Processing Unit, CPU) 的 个 人 计算 机 (Personal Computer, PC) 无 能 为 力 。 因 此 ， 近 年 来 
具有 强大 并 行 处 理 能 力 的 图 形 处 理 器 (Graphics Processing Unit, GPU) 和 现场 可 编程 逻辑 
阵列 〈Field Programmable Gate Array, FPGA) 器 件 作为 硬件 加 速 器 引入 图 像 处 理 领域 1。 
全 虽然 GPU 具有 强大 的 并 行 处 理 能 力 ， 但 其 实现 的 系统 体积 较为 庞大 ， 处 理 速度 上 与 FPGA 
= 相 比 并 没有 任何 优势 ， 这 一 结论 是 Jackson 分 别 在 GPU 和 FPGA 上 实现 幸运 区 域 融合 
(Lucky-region Fusion, LRF) 算法 (其 基本 思想 也 源 于 短 曝光 幸运 图 像 ) 的 实验 中 得 出 的 只 。 

2008 年 西班牙 的 Oscoz 和 Piqueras 所 在 的 团队 在 FastCam 项 目 研究 过 程 中 ， 首 次 将 季 
运 成 像 技术 在 FPGA 硬件 上 实现 ， 并 获得 了 实时 的 高 分 辩 率 图 像 "9。FastCam 是 基于 实时 
闵 值 进行 选 图 的 ， 虽然 实 时 性 有 保证 ,但 可 能 导致 所 选 图像 出 现 偏 差 ， 特别 是 由 于 FastCam 
系统 没有 剔除 包含 宇宙 射线 的 图 像 ， 当 输入 宇宙 射线 图 像 后 ,会 选中 这 帧 图 像 并 使 实时 间 值 
增 大 ， 导 致 后 续 的 好 图 不 再 被 选中 。 这些 不 足 使 得 该 系统 的 处 理 能 力 和 成 像 效果 受到 一 定 限 
制 。 而 且 他 们 的 论文 中 仅 介 绍 了 算法 基本 框架 和 实验 结果 , 并 没有 介绍 各 个 处 理 模 块 的 具体 
设计 方法 和 实现 技术 。 

2018 年 本 实验 室 赵 盼 孜 等 人 首次 在 论文 中 对 幸运 成 像 算法 的 FPGA 实现 进行 了 初步 细 
致 的 描述 外。 虽然 赵 的 系统 在 功能 上 是 完善 的 , 但 由 于 在 图 像 传输 链 路 采用 的 是 数据 速率 较 
低 的 SD 卡 接 口 ， 同 时 第 运 成 像 算 法 与 基于 CPU 的 算法 是 一 致 的 ， 虽 然 各 模块 功能 和 时 序 
划分 比较 独立 , 但 综合 的 资源 利用 率 和 时 钟 效率 较 低 ， 导致 该 实验 系统 的 处 理 能 力 和 速度 都 
没有 达到 实时 化 的 要 求 ， 性 能 上 与 FastCam 系统 有 较 大 差距 。 
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作者 新 近 的 论文 介绍 一 种 新 的 实时 幸运 成 像 算法 及 其 实现 技术 ""， 其 中 采用 的 滤波 、 
宇宙 射线 检测 与 剔除 、 选 图 、 配 准 、 镭 加 等 子 算法 与 FastCam 和 赵 盼 孜 的 算法 完全 不 同 。 

由 于 采用 固定 选 图 比 的 选 图 方法 , 所 选 出 的 好 图 与 传统 方法 稍 有 差异 ， SELES RATA 
有 微小 的 偏差 。 
本 文 以 本 实验 室 赵 的 幸运 成 像 系统 为 基础 , 采用 和 干 兆 网 作为 图 像 输入 通道 , 提出 了 一 种 
其 有 实时 处 理 能 力 的 基于 FPGA 的 幸运 成 像 算 法 ， 该 算法 创新 性 地 采用 一 种 固定 选 图 数 
无 排序 的 图 像 选 择 策略 和 一 种 以 行列 坐标 为 基准 的 图 像 配 准 策略 , 能 够 有 效 地 节省 算法 处 理 
时 间 和 硬件 资源 ， 该 算法 在 好 图 的 配 准 和 车 加 等 环节 与 文献 [10] 的 方法 也 有 差异 。 然 后 ， 在 
一 块 中 小 规模 的 FPGA 开发 板 上 实现 了 这 一 算法 ， 并 构建 了 一 个 紧凑 的 实时 化 的 高 速 幸运 
成 像 系统 ， 能 够 实现 大 量 图 像 的 幸运 重建 。 最 后 ， 利 用 云南 天 文 全 丽江 观测 站 2.4m 天 文 望 
远 镜 拍摄 的 大 量 目标 短 曝光 图 像 进行 FPGA 算法 设计 的 可 行 性 验证 ， 并 对 系统 的 性 能 进行 
了 分 析 讨 论 。 


1 实时 幸运 成 像 算 法 的 FPGA 实现 


由 于 研究 工作 的 延续 性 , 本 文 提 出 的 幸运 成 像 算法 的 硬件 实现 平台 和 设计 开发 软件 环境 
与 赵 盼 孜 完 成 的 系统 相同 ， 即 以 Xilinx 公司 Spartan-6 系列 的 XC6SLX16 芯片 为 核心 的 开发 
板 和 一 台 CPU 为 Xeon E5620 的 工作 站 ， 设 计 开 发 环境 是 ISE Design Suite 14.7， 采 用 
ChipScope pro 14.7 和 ModelSim SE 10.5 进行 硬件 设计 的 验证 与 调试 ,在 本 文 的 研究 过 程 中 ， 
首先 复 现 了 赵 系统 笠 运 成 像 算法 的 FPGA 实现 过 程 ， 然 后 与 本 系统 笠 运 成 像 算法 的 FPGA 
实现 过 程 作对 比 。 

经 典 的 幸运 成 像 算 法 包括 短 曝 光 图 像 的 预 处 理 、 选 图 、 配 准 、 欠 加 四 个 算法 流程 丫 ， 用 
FPGA 实现 幸运 成 像 算 法 ， 也 应 该 有 这 几 个 算法 流程 。 本 文 基于 实时 处 理 的 要 求 ， 以 新 的 选 
图 、 配 准 、 闭 加 思想 设计 了 相应 的 算法 及 其 实现 模块 。 


1.1 算法 的 总 体 设计 
1.1.1 算法 概述 

一 个 设计 合理 的 基于 FPGA 的 实时 算法 ,基本 思想 与 传统 的 基于 CPU 的 算法 是 一 致 的 ， 
但 必须 据 弃 传统 的 串 行 处 理 的 习惯 思维 , 尽 可 能 多 地 采用 并 行 处 理 思想 进行 设计 和 实现 。 所 
以 ， 在 设计 新 的 基于 FPGA 的 实时 幸运 成 像 算法 ， 我 们 仍然 采用 传统 的 基于 PC 或 GPU 的 
幸运 成 像 算 法 由 的 关键 思想 一 一 选 图 、 配 准 和 着 加 ， 但 数据 处 理 方式 与 步骤 则 按 并 行 思想 
进行 。 首 先 将 图 像 数 据 分 成 两 路 , 一 路 进行 图 像 的 高 斯 滤波 及 数据 暂 存 ,一 路 是 宇宙 射线 检 
WANA. ACHE; 然后 并 行 辣 加 ， 得 到 高 分 辩 紊 图像 ， 最 后 ， 采 用 锐 化 操作 对 高 分 状 率 图 像 
进行 增强 ， 并 送 往 视 频 图 形 阵 列 〈Video Graphics Array, VGA) 显示 。 算 法 的 关键 步骤 描述 
如 下 : 
(1) 图 像 滤 波 ， 同 时 并 行 地 查找 图 像 峰值 ; 
(2) 保存 滤波 后 图 像 ， 同 时 并 行 地 检测 剔除 宇宙 射线 ; 
(3) 按 固 定 的 选 图 数 进行 选 图 ; 
(4) 按 图 像 序号 和 行列 坐标 进行 配 准 ; 
(5) 并 行营 加 ; 
(6) 对 车 加 图 像 做 反 转 变换 进行 增强 同时 保存 重建 图 像 ; 
(7) 送 往 VGA 显示 。 

需要 说 明 的 是 ， 由 于 FPGA 具有 高 度 的 并 行 处 理 能 力 ， 不 仅 是 上 述 (1)、(2) 两 步 中 
是 并 行 处 理 的 , 后 面 的 那些 步骤 , 也 可 以 跟 图 像 输入 、 滤波 等 过 程 同 时 工作 。 这 是 基于 FPGA 
的 处 理 算法 与 基于 CPU 的 幸运 成 像 算 法 的 最 大 不 同 点 。 

传统 的 基于 CPU 的 幸运 成 像 算 法 是 一 种 事后 图 像 处 理 方法 ， 是 在 所 有 图 像 采集 并 传输 
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完成 后 ， 按 照 固定 的 选 图 比 选取 固定 数目 的 好 图 。 因 此 ， 对 于 传统 的 幸运 成 像 ， 固 定 选 图 比 
与 固定 选 图 数 的 实质 是 一 样 的 。 但 对 于 实时 处 理 而 言 , 需要 在 图 像 采 集 和 传输 的 同时 进行 医 
像 选取 ， 按 照 固定 选 图 比 的 方式 会 丢失 少量 的 好 图 "9 ， 而 在 一 定 传输 帧 数 下 按照 固定 选 
数 的 方式 则 不 会 丢失 任何 一 帧 好 图 。 从 上 述 算法 流程 可 见 ,， 本 算法 选 图 是 按 选 固定 的 选 图 数 
目 进行 的 。 虽 然 这 既 与 传统 的 采用 固定 选 图 比 的 选 图 方案 4239 不 同 ， 也 与 采用 固定 选 图 比 的 
动态 选 图 方案 不同， 但 当 输 入 图 像 达 到 设 定 值 时 ， 所 选 出 的 幸运 图 像 〈 即 好 图 ) 与 传统 
的 采用 固定 选 图 比 选 出 的 好 图 结果 是 一 致 的 。 由 于 采用 国定 的 选 图 数目 ， 也 没有 选择 阔 值 
所 以 有 别 于 FastCam 中 的 实时 阅 值 选 图 方案 。 这 是 本 算法 的 一 个 创新 点 。 以 上 算法 中 各 步 
又 的 详细 处 理 过程 ， 构 成 相应 的 一 些 子 算法 ， 它 们 与 FPGA 的 结构 相关 ， 将 在 后 面相 关 小 
节 中 介绍 。 
1.1.2 FPGA 系统 的 总 体 设计 

FPGA 是 一 个 半 定 制 硬件 ， 基 于 这 种 器 件 的 算法 设计 ， 与 传统 的 基于 CPU 的 算法 设计 
差别 巨大 ， 因 为 FPGA 算法 的 实现 与 硬件 的 结构 、 资 源 的 种 类 和 大 小 等 密切 相关 。 对 于 上 
面 所 述 的 幸运 成 像 算法 ， 主 要 的 步骤 可 用 一 个 FPGA 模块 电路 去 实现 ， 再 结合 图 像 输入 输 
出 方式 ， 其 实现 的 系统 主要 包括 千 兆 以 太 网 接收 模块 、 高 斯 滤波 模块 、 宇 宙 射 线 吻 除 模 块 、 
数据 输入 绥 存 模块 、 数 据 读 写 控制 与 存储 模块 、 短 曝光 图 像 的 选 图 、 配 准 、 受 加 模块 、 图 像 
灰 度 变换 模块 、 重 建 图 像 保 存 模块 以 及 VGA 驱动 显示 模块 ， 系 统 的 总 体 结 构 框 图 如 图 1 所 
示 。 其 中 千 兆 网、 滤波 和 射线 噜 除 这 三 个 模块 是 赵 的 系统 中 没有 的 ， 选 图 、 配 准 和 对 加 这 三 
个 模块 重新 进行 了 设计 , 灰 度 变换 模块 采用 反 转 变换 这 种 简单 易 实现 的 锐 化 操作 对 高 分 辩 率 
图 像 进行 增强 ， 其 他 模块 做 了 少量 的 优化 。 本 系统 DDR3 工作 频率 为 312.5MHz (注意 ， 所 
提出 算法 不 限于 312.5MHz， 系 统 也 可 以 在 625MHz 下 正常 工作 )。 
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图 1 实时 幸运 成 像 算法 的 总 体 结构 框图 
Fig. 1 Overall structure of the real-time lucky imaging system. 

由 于 受到 所 用 FPGA 芯片 RAM 资源 以 及 硬件 逻辑 资源 的 限制 ， 本 系统 目前 的 目标 与 
FastCam 一 致 ， 可 以 使 用 2000 Ht 128x128 像素 大 小 的 短 曝 光 图 像 作 为 原始 图 像 进行 选 图 处 
理 ， 在 配 准 过 程 中 截取 64x64 像素 大 小 的 图 片 进行 配 准 处 理 ， 并 最 终 以 64x64 像素 大 小 显 
示 幸 运 成 像 结 果 。 
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由 于 干粮 以 太 网 接收 模块 的 代码 是 由 FPGA 开发 板 厂商 提供 的 代码 修改 得 出 的 ， 其 他 与 
赵 系统 类 似 的 模块 可 参阅 赵 盼 孜 的 论文 (文献 [9])， 这 些 模块 本 文 不 作 介绍 ， 高 斯 滤波 模块 与 
宇宙 射线 剔除 模块 可 参阅 文献 [10]， 本 文 也 不 作 介绍 。 以 下 主要 介绍 新 的 思想 方法 重新 设计 
选 图 、 配 准 和 和 者 加 这 三 个 算法 及 其 实现 横 块 。 


1. 2 选 图 算法 及 其 实现 模块 设计 

传统 的 选 图 思想 是 基于 每 帧 图 像 的 瞬时 斯 特 列 尔 比 进行 比较 排序 。 当 图 像 较 多 时 , 选 图 
算法 计算 量 巨大 ， 消 耗 的 资源 也 很 多 ， 不 适合 在 中 小 规模 的 FPGA 系统 上 实现 。 为 此 ， 本 
文采 用 一 种 固定 选 图 数目 且 无 需 排 序 的 选 图 思路 ， 符 合 FPGA 的 逻辑 设计 ， 可 节省 大 量 的 
时 钟 资源 与 硬件 资源 ， 该 算法 示意 图 如 图 2 所 示 。 
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图 2 选 图 算法 示意 图 
Fig. 2 Schematic diagram of the image selection algorithm. 

Pe] 2 F mn FUR A ae Ie Ac ta EMA mE SCR Ae Ham SME ELE TT BE 2 
本 系统 实现 的 是 从 2000 帧 天 文 图 像 中 按 190 FE EEO E HH 20 “MEAT EA OM, 故 本 
系统 的 m=20，n=2000。 每 来 一 个 经 过 宇宙 射线 剔除 模块 后 的 峰值 都 暂 存 到 RAM 地 址 m+ 
上 ， 然 后 依次 读 取 RAM 地 址 1 到 地 址 m+1， 相 互 比较 并 记录 最 小 值 所 在 的 RAM 地 址 k, 
一 轮 比较 结束 后 ， 把 暂 存在 地 址 m 上 的 峰值 写 入 到 最 小 值 所 在 存储 地 址 单元 k 中 ， 如 此 
往复 ， 直 到 n 帧 图 像 峰 值 读 取 完 毕 后 ,， RAM 中 地 址 1 到 m 中 数据 就 是 从 n 个 图 像 峰值 中 的 
前 m 个 最 大 值 ， 依 次 读 出 ， 选 图 结束 。 

本 文选 图 思想 与 文献 [10] 是 不 同 的 : 本 文采 用 的 是 固定 选 图 数目 的 方法 , 即 m 是 不 变 的 ; 
而 文献 [10] 和 采用 的 是 固定 选 图 比 的 方法 , 即 m 是 变化 的 -相应 地 ,FPGA 实现 的 方法 和 Verilog 
HDL 代码 也 大 不 同 。 文 献 [10] 的 优点 是 可 以 随 图 像 的 输入 动态 选 图 , 但 代码 设计 复杂 ,代码 
量 大 ， 特 别 是 其 选 图 结果 与 传统 的 算法 有 小 的 偏差 " 。 本 文 算法 的 优点 是 在 确定 的 输入 图 
像 数 时 选 图 结果 与 传统 的 算法 完全 一 致 ， 即 不 会 丢失 任何 一 帧 好 图 ， 代 码 设计 简单 。 


1. 3 配 准 算法 及 其 实现 模块 设计 
本 模块 设计 的 目的 是 对 经 过 选 图 模块 选 出 的 128x128 像素 大 小 的 图 像 , 以 峰值 所 在 像素 
为 图 像 中 心 , 截取 其 所 在 行列 以 及 其 前 31 行 和 后 32 47. Bi 31 列 和 后 32 Fil, 形成 一 帧 64x64 
像素 大 小 的 图 像 进行 倒 加 处 理 。 设 计 中 的 主要 问题 是 ， 如 何 找 到 以 峰值 所 在 像素 为 中 心 的 
64x64 像素 大 小 图 像 的 第 一 个 像素 在 DDR3 存储 器 中 的 地 址 , 用 以 从 DDR3 存储 器 中 读 取 相 
应 的 图 像 像素 的 灰 度 值 ， 送 入 共 加 模块 处 理 。 本 文 根 据 DDR3 存储 器 数据 存储 原理 以 及 图 
像 配 准 要 求 ， 采 用 峰值 所 在 图 像 序号 和 峰值 所 在 像素 位 置 ( 即 横 纵 坐标 〉 进行 图 像 配 准 ， 得 
到 了 符合 FPGA 逻辑 实现 的 配 准 公 式 ， 如 式 (1) 所 示 。 
addr __r=(pic_cnt—1)x65536+[(axis _ x—32)x128 +axis _ y —32]x 4 (1) 
其 中 ,addr r 为 以 峰值 所 在 像素 为 中 心 的 64x64 像素 大 小 图 像 的 第 一 个 像素 在 DDR3 存储 器 
中 的 地 址 ，pic_cnt 为 信息 寄存 器 中 寄存 的 图 像 序号 ，axis_x 和 axis_y 分 别 为 信息 寄存 器 中 
寄存 的 峰值 所 在 像素 的 横 坐 标 和 纵 坐 标 。 公 式 (1) 中 乘 4 是 因为 一 个 像素 在 DDR3 存储 器 中 
占 4 个 地 址 单元 ,65536(128x128x4) 代 表 1 帧 图 像 在 DDR3 存储 器 中 占用 的 地 址 单元 的 个 数 。 
需要 注意 的 是 , 如 果 一 帧 图 像 中 存在 两 个 或 多 个 相同 的 峰值 时 , 本 系统 取 第 一 个 峰值 为 中 心 
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进行 配 准 。 
男 外 ， 由 于 本 文中 好 图 在 DDR3 中 的 存 取 方法 与 文献 [10] 的 方法 不 同 ， 以 上 的 配 准 公式 
(1) 与 文献 [10] 的 配 准 公式 也 就 有 明显 的 区 别 。 


1.4 又 加 算法 及 其 实现 模块 的 设计 

本 模块 实现 的 功能 是 将 配 准 之 后 的 图 像 进行 世 加 ， 将 释 加 后 的 图 像 送 入 灰 度 变换 模块 ， 
为 了 实现 图 像 数 据 的 无 颖 缓冲 和 处 理 任务 ， 并 节省 缓冲 区 空间 ， 本 系统 采用 一 个 16 位 真 双 
O RAM 和 一 个 16 位 简单 双 口 RAM 进行 乒乓 操作 实现 图 像 的 登 加 。 乒 乓 操作 主要 是 依靠 
切换 两 个 RAM 之 间 的 读 写 操作 实现 的 ， 即 当 RAMI 进行 写 操作 时 ，RAM2 进行 读 操作 ， 
当 一 帧 图 像 琶 加 完毕 后 ， 切 换 状 态 ， 即 RAMI1 进行 读 操 作 ，RAM2 进行 写 操作 ， 直 到 m 帧 
图 像 过 加 完毕 ， 此 时 RAM2 中 存储 的 就 是 全 部 过 加 后 的 图 像 。 

为 了 验证 本 模块 设计 的 正确 性 ， 本 系统 采用 固定 20 帧 选 图 ( 即 2000 帧 x1% ) 在 FPGA 
上 做 预 处 理 、 选 图 、 配 准 及 肢 加 操作 ， 并 用 ChipScope 软件 对 最 终结 果 图 中 峰值 周围 部 分 像 
素 值 进行 抓 取 ， 抓 取 结 果 如 图 3(a) 所 示 ， 并 在 MATLAB 上 进行 同样 的 处 理 ， 截 取 结 果 如 图 
3(b) 所 示 。 


{©} Waveform - DEV:0 MyDevice0 (XC6SLX16) UNIT:0 MyILAO (ILA) © BA 
9 -8 -7 -6 5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 


Bus/Signal | X o 
© add_total_pic_addr | 1983| 1983j06 X 2007 X 2008 X 2009 2010X2011 W2012 2013X2014 ¥ 2015 X 2016X2017 X 2018 X 2019X2020 X 2021 2022X2023% 
© add _total_pic_data | 6668| 6663|88 W7705W7741 77707734X 7667 7806X8347 19574 103229409% 8289 7950 7832X7634 W7417 7336X7346% 


(a) FPGA 处 理 的 结果 
(a) Results of FPGA processing 
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(b) MATLAB 处 理 的 结果 
(b) Results of MATLAB processing 
图 3 县 加 模块 结 于 
Fig. 3 Superposition module processing results 
对 比 图 3(a) 和 图 3(b) 可 知 ,经 FPGA 实现 的 结果 与 在 MATLAB 上 实现 的 结果 完全 一 样 ， 
说 明 厨 加 模块 设计 正确 , 同时 也 验证 了 本 文 所 提出 的 幸运 成 像 算 法 的 各 主要 模块 及 其 互联 接 
口 的 设计 是 正确 的 。 


3 ”实验 结果 及 其 分 析 


为 了 验证 本 文 所 提出 的 基于 FPGA 的 斑 运 成 像 算 法 的 性 能 以 及 FPGA 实现 的 正确 性 ， 
首先 用 同样 的 算法 在 基于 PC 的 MATLAB 处 理 平台 上 对 天 文 目 标的 短 曝 光 图 像 进 行 处 理 ， 
其 次 在 基于 FPGA 开发 板 的 硬件 处 理 平台 上 进行 同样 的 处 理 ,最 后 将 相关 结果 做 对 比分 析 。 

实验 中 所 用 天 文 目 标 短 曝光 系列 图 像 是 2016 年 10 月 20 日 在 云南 天 文 台 丽江 观测 站 对 
天 文 双星 HDS 70 的 实测 图 像 ， 共 10000 帧 ， 这 组 图 像 的 观测 条 件 和 参数 参见 文献 3] 。 在 图 
像 帧 数 以 及 图 像 大 小 的 选取 上 ， 由 于 所 用 的 现场 可 编程 门 阵列 的 限制 ， 多 次 随机 从 10000 
帧 图 像 中 抽取 2000 帧 ， 并 裁剪 成 128x128 像素 大 小 的 天 文 目 标 短 曝光 图 像 进 行 处 理 。 


3.1 幸运 成 像 算法 在 CPU+MATLAB 平台 上 的 处 理 实验 
本 实验 的 硬件 平台 是 : Dell Precision T5500 图 像 工作 站 ， 其 中 内 存 16GB, CPU 为 Xeon 
E5620, 显卡 为 NVIDIA GTX1080, 运行 的 软件 环境 是 Windows 7 操作 系统 .MATLAB R2017a。 
在 MATLAB 中 对 随机 抽取 的 2000 帧 128 x 128 像 素 大 小 的 图 像 进 行 幸运 成 像 算 法 处 理 ， 


在 实际 处 理 中 只 截取 64 x 64 像 素 大 小 的 目标 区 域 。 根 据 文献 [3,7] 的 研究 结果 ， 选 图 比 取 为 
1%， 科 和 运 成 像 效果 最 好 。 也 就 是 从 2000 帧 图 像 中 选 20 帧 做 车 加 ， 所 得 结果 如 图 4 所 示 。 
对 图 4(a) 的 高 分 状 率 图 像 进一步 分 析 ，, 采用 二 维修 正 矩 算法 mM 对 目标 (主星 和 伴星 ) 进行 计 
算 ， 得 到 以 像素 为 单位 的 主星 坐标 (33.015, 32.147) 和 伴星 坐标 “37.906，26.068)， 由 此 
计算 出 两 星之 间 的 距离 约 为 7.802 像素 , 再 根据 望远镜 成 像 系 统 的 比例 尺 0.043 角 秒 /像素 中 ， 
最 终 得 到 双星 间距 为 7.802x0.043~0.335 角 秒 。 这 个 结果 与 HDS 70 在 星 表 中 的 距离 (0.3 ff 
W) 差别 不 大 ， 误 差 主 要 来 源 于 双星 在 星 表 历 元 位 置 与 我 们 实际 观测 时 刻 的 双星 位 置 之 
间 的 差异 和 定 心 计算 误差 。 这 说 明 用 MATLAB 实现 的 幸运 成 像 算 法 是 正确 的 。 


ot 


(a) 二 维 灰 度 图 (b) 三 维 灰 度 分 布 图 
(a) 2D gray image (b) 3D gray distribution map 


图 4 2000 帧 短 曝光 图 像 中 选 20 帧 时 所 得 的 笠 运 成 像 结 果 


Fig. 4 Results of 20 frames of lucky images selected from 2000 frames of short exposure 


3.2 幸运 成 像 算 法 在 FPGA 平台 上 的 实验 验证 

本 实验 的 硬件 平台 是 Xilinx 公司 Spartan-6 系列 的 XC6SLX16 芯片 为 核心 的 开发 板 。 本 
系统 基于 FPGA 上 实现 的 幸运 成 像 算 法 设计 的 验证 ， 实 时 输入 2000 帧 原始 图 像 ， 采 用 采用 
司 定 20 帧 选 图 (相当 于 1% 的 选 图 比例 ) 做 处 理 。 由 于 验证 所 用 图 片 总 帧 数 以 及 选 图 比例 
过 低 ， 导 致 最终 得 到 的 高 分 辩 率 图 像 像 素 灰 度 值 过 低 ， 所 以 无 论 在 MATLAB 上 还 是 FPGA 
上 做 算法 处 理 所 得 的 高 分 辩 率 图 像 都 比较 模糊 ， 故 本 系统 在 FPGA 和 MATLAB 上 均 对 算法 
处 理 所 得 的 高 分 辨 率 图 像 做 了 相同 的 灰 度 变换 处 理 一 一 锐 化 , 将 最 终 得 到 的 高 分 辨 率 图 像 中 
感 兴趣 的 目标 或 区 域 突出 出 来 ， 分 别 得 到 了 如 图 5(a)、5(b) 所 示 的 锐 化 图 像 。 


(a) FPGA 处 理 的 结果 (b) MATLAB 处 理 的 结果 
(a) Result of FPGA processing (b) Result of MATLAB processing 
图 5 基于 FPGA JI MATLAB 实现 的 幸运 成 像 算 法 处 理 所 得 的 结果 图 像 
Fig. 5 Resultant images Obtained by lucky imaging algorithm based on the FPGA and the MATLAB 
5 (a) 是 通过 以 太 网 回 传 最 终 高 分 辩 率 图 像 锐 化 结果 (数据 ) 给 PC 机 并 调用 MATLAB 
的 函数 显示 的 结果 图 ， 图 5(b) 是 在 MATLAB 上 进行 幸运 成 像 算 法 处 理 并 做 相同 锐 化 的 结 
图 。 通 过 对 比 可 以 看 出 两 帧 图 像 是 完全 相同 的 ， 从 而 验证 了 本 系统 在 FPGA 上 实现 的 幸运 
成 像 算 法 设计 正确 。 


3.3 对 比 实验 及 其 结果 分 析 
为 了 体现 本 文 所 提出 的 基于 固定 选 图 数 的 幸运 成 像 算法 的 优越 性 , 本 文 设计 了 二 个 对 比 
实验 。 第 一 个 对 比 实验 : 分 别 用 本 文 所 提出 的 基于 固定 选 图 数 的 算法 、 赵 盼 双 提出 的 基于 排 


序 的 算法 M、 文 献 [10] 


据 读 取 时 间 和 总 运行 时 间 进 行 对 比 , 实验 结果 如 表 1 所 示 。 注 :由 


提出 的 基于 


固定 选 图 比 的 算法 以 及 在 MATLAB 
对 1000 帧 原始 图 像 按 1% 的 选 图 比例 进行 幸运 成 像 实验 ， 就 它们 的 算法 运行 时 间 、 


这 里 只 对 1000 帧 图 像 进行 处 理 。 
表 1 不 同 计算 平台 下 1000 帧 原始 图 像 的 幸运 成 像 算 法 运行 时 间 (六 


Tab. 1 Running times (in seconds) 


位: PD) 


上 实现 的 相同 算法 


象 数 


于 赵 的 系统 处 理 能 力 有 限 ， 


计算 平台 算法 运行 时 间 图 像 数 据 读 取 时 间 总 运行 时 间 
本 文 固定 选 图 数 算法 0.09 5.08 
赵 盼 孜 排 序 算法 中 2.45 44.39 
固定 选 图 比 算 法 00 0.08 5.07 
CPU+MATLAB 13.65 13.80 


第 二 个 对 比 实验 : OT TCT AZ) FJ a 
像 算 法 实现 、FastCam 项 目 
选 图 比 的 幸运 成 像 算法 实现 资源 消耗 进行 对 比 。 注 : 


与 西班牙 FastCam FPGA 系统 做 对 比 。 


表 2 不 同 计算 平台 下 2048 帧 128 X 128 像素 大 小 的 原始 图 像 幸运 成 


像 算法 资源 消耗 


Tab. 2 FPGA on-chip resource consumption of lucky imaging for 2048 frames of cropped images 


E 本 文 所 提出 的 基于 固定 选 图 数 的 幸运 成 
多 中 基于 实时 赣 值 的 幸运 成 像 算 法 实现 以 及 文献 [10] 中 基于 固定 
这 里 选 2048 帧 图 像 进行 处 理 ， 是 为 了 


计算 平台 片 资 源 ( 片 ) H RAM 资源 ( 块 ) 
本 文 固定 选 图 数 算法 1319 19 
FastCam 实时 闪 值 算法 六 3778 133 
固定 选 图 比 算法 [0 1350 21 


从 表 1 可 以 看 出 ， 本 文 所 提出 的 幸运 成 像 算法 用 
系统 快 27 倍 ， 同 比 提升 了 96.33%， 比 CPU+MATLAB 实现 的 算法 处 理 速 
然 与 固定 选 图 比 算 法 处 理 速度 几 无 差异 , 但 本 文 算 法 与 传统 算法 结果 完全 一 致 ， 而 
比 算 法 与 传统 算法 结果 
此 外 ， 从 表 2 中 可 以 看 出 ， 本 文 所 提出 的 幸运 成 像 算法 
为 FastCam 系统 中 片 资 源 消 耗 的 34.91%， 块 RAM 资源 


表 1 和 表 2 中 ， 本 系统 算法 的 FPGA 实现 和 第 
均 为 3.2 节 所 述 的 FPGA 开发 板 ，CPU+MATLAB 实 


HAI o 


算法 实现 的 资源 消耗 也 略 有 优势 。 


通过 以 上 对 比分 析 可 知 ， 本 文 所 提出 的 幸运 成 像 算法 的 FPGA 实现 在 算法 处 到 


和 资源 消耗 上 都 具有 


通常 使 用 电子 倍增 电荷 硝 合 器 介 
的 相机 ， 这 是 一 种 高 速 低 噪声 的 科学 


不 会 小 于 20ms。 例 如 ，FastCam 系统 的 曝光 时 间 是 30ms! ， 而 我 们 在 丽江 
测 时 的 曝光 时 间 是 20ms™。 


可 以 用 于 构建 实时 的 幸运 成 像 系 统 。 


4 结论 


本 文 在 仔细 分 析 已 有 实时 幸运 成 像 算 法 和 系统 优 缺 点 的 基础 上 
EHT 


行 性 与 灵活 性 优势 ， 


准 方面 ， 采 用 好 图 的 


一 代 系统 算法 的 FPGA 实现 的 硬件 平台 
现 的 硬件 平台 为 3.1 节 所 述 的 平台 。 

FPGA 实现 后 的 算法 处 理 速度 比 赵 的 
度 快 约 152 倍 。 虽 
固定 选 图 


] FPGA 实现 的 片 资源 消耗 仅 


肖 耗 仅 为 14.28%， 相 比 固定 选 


图 比 


速度 上 
定 的 优势 ， 图 像 帧 率 可 达 197 帧 / 秒 ( 约 Sms/ 帧 )。 天 文 幸 运 成 像 观测 
F (Electron Multiplying Charge-Coupled Devices, EMCCD) 

级 相机 1。 实际 观 测 时 ,EMCCD 相机 的 曝光 时 间 通 常 


所 以 ， 本 文 提出 的 基于 FPGA 的 幸运 成 像 算法 及 其 实 


FE， 充分 利用 
一 个 符合 FPGA 开发 特点 的 实时 幸运 成 像 算法 。 
方面 ， 据 弃 传 统 的 排序 选 图 思想 ， 而 采用 固定 选 图 数 


算法 的 流程 和 各 关键 步 


A Ae iti Ey 的 方式 进行 选 
二 维 行列 坐标 进行 配 准 ， 公 式 简洁 


2.4m 望远镜 


EE 


FPGA 的 并 
算法 在 选民 
; 在 图 像 配 
介绍 了 这 一 实时 幸运 成 像 
eR REAL WS Best TAAL CULE, VILLA RRR Rm 


EX 


现 技术 ， 


证 过 程 。 以 此 为 基础 ， 在 一 块 中 小 规模 低 成 本 的 FPGA 开发 板 上 进行 了 系统 的 实现 ， 构 建 


了 一 个 具有 实时 处 理 能 力 的 紧凑 的 幸运 成 像 系统 。 使 新 的 幸运 成 像 算法 在 中 小 规模 的 FPGA 
上 可 以 处 理 2000 帧 以 上 的 图 像 ， 达 到 或 者 说 略 超 FastCam 的 处 理 能 力 ， 但 成 像 结果 与 传统 
算法 一 致 ， 资 源 消耗 更 少 。 由 于 处 理 图 像 (128x128 像素 ) 的 平均 帧 率 可 高 达 197 WE, 
所 以 , 本 文 提 出 的 幸运 成 像 算 法 及 其 FPGA 实现 技术 , 可 以 用 于 构建 实时 的 幸运 成 像 系统 。 
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A 


real-time lucky imaging algorithm with fixed number 


of selected images 


Jinliang Wang', Binhua la 


(1. Faculty of information engineering and automation, Kunming University of Science and 


Technology, Kunming 650500, China) 
(2. Key Laboratory of Applications of Computer Technologies of the Yunnan Province, Kunming 
University of Science and Technology, Kunming, 650500, China) 

Abstract: Lucky imaging is a high-resolution image restoration technology by selecting, 
registering and superposing a small number of lucky images from a large number of 
short-exposure images. It can effectively reduce the effect of atmospheric turbulence on image 
quality. However, the traditional CPU-based lucky imaging algorithm is difficult to achieve 
real-time. Taking advantage of the parallelism and flexibility of FPGA, this paper proposes a 
novel FPGA-based lucky imaging algorithm and built an FPGA experimental system. The 
algorithm adopts an image selection strategy only selecting a fixed number of lucky images and 
without sorting, and an image registration strategy based on the row and column coordinates of the 
selected images, which can effectively save algorithm processing time and hardware resources, 
and achieve the purpose of real-time lucky imaging. The new real-time lucky imaging algorithm 
can be implemented on small and medium-sized FPGA in a simple way. The high resolution 
image obtained by the real-time lucky imaging algorithm is the same as that processed by the 
traditional CPU-based algorithm. Experiments show that, for a lucky imaging processing of 2000 
frames of the input images of 128x128 pixels, the running speed of the FPGA-based algorithm is 
27 times faster than that of the algorithm previously proposed by our laboratory, and more than 
150 times faster than that of the traditional lucking imaging algorithm based on CPU+MATLAB, 
the processing frame rate is up to 197 fps. The proposed algorithm and its FPGA implementation 
technology can be used to build a true real-time lucky imaging system. 

Key words: image processing; atmospheric turbulence; real-time; lucky imaging; field 


programmable gate array (FPGA) 


